磁性材料是许多技术的重要组成部分，可以推动生态过渡，包括电动机，风力涡轮机发生器和磁性制冷系统。因此，发现具有大磁矩的材料是越来越优先的。在这里，使用最先进的机器学习方法，我们扫描数十万现有材料的无机晶体结构数据库（ICSD），以找到那些铁磁并具有大的磁矩。晶体图卷积神经网络（CGCNN），材料图网络（MEGNET）和随机森林都培训了包含高吞吐量DFT预测结果的材料项目数据库。对于随机林，我们使用随机方法选择基于化学成分和晶体结构的近百个相关描述符。事实证明，为测试集提供与神经网络相当的测试集。这些不同机器学习方法之间的比较给出了对ICSD数据库预测的错误的估计。

Targeted syntactic evaluations of language models ask whether models show stable preferences for syntactically acceptable content over minimal-pair unacceptable inputs. Most targeted syntactic evaluation datasets ask models to make these judgements with just a single context-free sentence as input. This does not match language models' training regime, in which input sentences are always highly contextualized by the surrounding corpus. This mismatch raises an important question: how robust are models' syntactic judgements in different contexts? In this paper, we investigate the stability of language models' performance on targeted syntactic evaluations as we vary properties of the input context: the length of the context, the types of syntactic phenomena it contains, and whether or not there are violations of grammaticality. We find that model judgements are generally robust when placed in randomly sampled linguistic contexts. However, they are substantially unstable for contexts containing syntactic structures matching those in the critical test content. Among all tested models (GPT-2 and five variants of OPT), we significantly improve models' judgements by providing contexts with matching syntactic structures, and conversely significantly worsen them using unacceptable contexts with matching but violated syntactic structures. This effect is amplified by the length of the context, except for unrelated inputs. We show that these changes in model performance are not explainable by simple features matching the context and the test inputs, such as lexical overlap and dependency overlap. This sensitivity to highly specific syntactic features of the context can only be explained by the models' implicit in-context learning abilities.

The extragradient method has recently gained increasing attention, due to its convergence behavior on smooth games. In $n$-player differentiable games, the eigenvalues of the Jacobian of the vector field are distributed on the complex plane, exhibiting more convoluted dynamics compared to classical (i.e., single player) minimization. In this work, we take a polynomial-based analysis of the extragradient with momentum for optimizing games with \emph{cross-shaped} Jacobian spectrum on the complex plane. We show two results. First, based on the hyperparameter setup, the extragradient with momentum exhibits three different modes of convergence: when the eigenvalues are distributed $i)$ on the real line, $ii)$ both on the real line along with complex conjugates, and $iii)$ only as complex conjugates. Then, we focus on the case $ii)$, i.e., when the eigenvalues of the Jacobian have \emph{cross-shaped} structure, as observed in training generative adversarial networks. For this problem class, we derive the optimal hyperparameters of the momentum extragradient method, and show that it achieves an accelerated convergence rate.

计算优化问题解决方案解决方案的雅各布是机器学习中的一个核心问题，其应用程序在超参数优化，元学习，优化为层和数据集蒸馏中的应用程序，仅举几例。展开的分化是一种流行的启发式方法，它使用迭代求解器近似溶液，并通过计算路径区分它。这项工作提供了对梯度下降和Chebyshev方法的二次目标的这种方法的非反应收敛速率分析。我们表明，为了确保雅各布的融合，我们可以1）选择较大的学习率，导致快速渐近地收敛，但接受该算法可能具有任意长的燃烧阶段或2）选择较小的学习率直接但较慢的收敛性。我们将这种现象称为展开的诅咒。最后，我们讨论了相对于这种方法的开放问题，例如为最佳展开策略得出实用的更新规则，并与Sobolev正交多项式领域建立了新的联系。

近年来，超级人性药物的研究与发展取得了显着发展，各种军事和商业应用程序越来越多。几个国家的公共和私人组织一直在投资超人员，旨在超越其竞争对手并确保/提高战略优势和威慑。对于这些组织而言，能够及时可靠地识别新兴技术至关重要。信息技术的最新进展使得分析大量数据，提取隐藏的模式并为决策者提供新的见解。在这项研究中，我们专注于2000 - 2020年期间有关高人物的科学出版物，并采用自然语言处理和机器学习来通过识别12个主要潜在研究主题并分析其时间演变来表征研究格局。我们的出版物相似性分析揭示了在研究二十年中表明周期的模式。该研究对研究领域进行了全面的分析，以及研究主题是算法提取的事实，可以从练习中删除主观性，并可以在主题和时间间隔之间进行一致的比较。

基于面部的情感计算包括检测面部图像的情绪。它可以更好地自动理解人类行为是有用的，并且可以为改善人机相互作用铺平道路。但是，它涉及设计情绪的计算表示的挑战。到目前为止，情绪已经在2D价/唤醒空间中连续地表示，或者以Ekman的7种基本情绪为单位。另外，Ekman的面部动作单元（AU）系统也已被用来使用单一肌肉激活的代码手册来粘附情绪。 ABAW3和ABAW4多任务挑战是第一项提供用这三种标签注释的大规模数据库的工作。在本文中，我们提出了一种基于变压器的多任务方法，用于共同学习以预测唤醒，动作单位和基本情绪。从体系结构的角度来看，我们的方法使用任务的令牌方法来有效地建模任务之间的相似性。从学习的角度来看，我们使用不确定性加权损失来建模三个任务注释之间的随机性差异。

我们解决了一个新的新兴问题，该问题正在加权图中找到最佳的单核匹配。\ cite {adma}在每次迭代中采样完整匹配的半频带版本，创建了一个算法，预期的遗憾匹配$ o（\ frac {l \ log（l）} {\ delta {\ delta} \ log（t））$带$ 2L $播放器，$ t $迭代和最小奖励差距$ \ delta $。我们分两个步骤减少了这一界限。首先，如\ cite {grab}和\ cite {unirank}，我们在适当的图上使用预期奖励的无模式属性来设计算法，并遗憾地在$ o（l \ frac {1} {\ delta} {\ delta} \ \log（t））$。其次，我们表明，通过将焦点转移到主要问题`\ emph {用户$ i $比用户$ j $更好？}'这个遗憾变成$ O（l \ frac {\ delta}}^2} \ log（t））$，其中$ \ tilde {\ delta}> \ delta $源自比较用户的更好方法。一些实验结果最终表明这些理论结果在实践中得到了证实。

储层计算是一种机器学习方法，可以生成动态系统的替代模型。它可以使用较少的可训练参数来学习基础动力系统，从而比竞争方法更少。最近，一种更简单的公式（称为下一代储层计算）可以去除许多算法的元掌握器，并识别出良好的传统储层计算机，从而进一步简化了训练。在这里，我们研究了一个特别具有挑战性的问题，即学习具有不同时间尺度和多个共存动态状态（吸引子）的动态系统。我们使用量化地面真相和预测吸引子的几何形状的指标比较了下一代和传统的储层计算机。对于所研究的四维系统，下一代储层计算方法使用$ \ sim 1.7 \ times $少培训数据，需要$ 10^3 \ times $ $ shorter $ shorter“热身”时间，具有$ \ \ \ \ \ \ \ \ \ \ \ \ \ SIM 100 \ times $与传统的储层计算机相比，预测共存吸引人特性的精度更高。此外，我们证明了它以高精度预测吸引力的盆地。这项工作为动态系统的这种新机器学习算法的出色学习能力提供了进一步的支持。

现代对象检测体系结构正朝着采用自我监督的学习（SSL）来通过相关的借口任务来提高性能检测。文献中尚未探讨单眼3D对象检测的借口任务。本文研究了已建立的自我监督边界框的应用，通过将随机窗口标记为借口任务来回收。训练了3D检测器的分类器头，以对包含不同比例的地面真相对象的随机窗口进行分类，从而处理前后背景的不平衡。我们使用RTM3D检测模型作为基线评估借口任务，并在应用数据增强的情况下评估。我们证明，在基线得分上，使用SSL在MAP 3D中的2-3％和0.9-1.5％的BEV得分之间的提高。我们提出了反向类频率重新加权（ICFW）地图分数，该分数突出显示了具有长尾巴的类不平衡数据集中低频类检测的改进。我们证明了ICFW的改进MAP 3D和BEV分数，以考虑Kitti验证数据集中的类不平衡。通过借口任务，我们看到ICFW指标增加了4-5％。

我们描述了ICML表达性发声竞争的生成性情感声乐爆发任务（EXVO生成）的方法。我们在音频样品的预处理版本中训练有条件的stylegan2架构。然后将模型生成的MEL光谱图倒回音频域。结果，我们生成的样品从竞争所提供的基线从定性和定量的观点上对所有情绪的基线进行了显着改善。更确切地说，即使对于我们表现最差的情绪（敬畏），我们也获得了1.76的时尚，而基线则为4.81（作为参考，敬畏的火车/验证集之间的淡出为0.776）。